ภูมิหลังของเน็ด เคลลี สามารถศึกษาได้จากประวัติของจอห์น "เรด" เคลลี (John 'Red' Kelly) บิดาของเน็ด เขาชาวไอริชโดยกำเนิด ซึ่งถูกทางการอังกฤษจับกุมด้วยด้วยสาเหตุบางอย่างที่ไม่อาจสืบทราบได้ในปัจจุบันแล้ว เนื่องจากเอกสารเกี่ยวกับคดีของเขาที่ประเทศไอร์แลนด์ได้สูญหายไประหว่างที่เกิดสงครามกลางเมืองไอร์แลนด์ระหว่างปี ค.ศ. 1922 - 1923 เอียน โจนส์ (Ian Jones) ได้อ้างไว้ในหนังสือ Ned Kelly : A Short Life ว่า จอห์น เคลลีถูกจับกุมเพราะเขาไปลักหมู 2 ตัว แต่คำกล่าวอ้างดังกล่าวนั้นค้านกับสิ่งที่ เจ.เจ.เคนนีลลี (J. J. Kenneally) กล่าวไว้ในหนังสือเรื่อง The Inner History of the Kelly Gang ว่า สาเหตุที่จอห์นถูกจับกุมเพราะเขาเป็นผู้รักชาติชาวไอริช[2] จะอย่างไรตาม หลังจากถูกจับกุมตัวแล้ว จอห์น เคลลี ก็ถูกตัดสินลงโทษใช้แรงงาน 7 ปี และถูกเนรเทศมายังฟานไดเมนส์แลนด์ (Van Diemen's Land, ปัจจุบันคือรัฐแทสเมเนีย ประเทศออสเตรเลีย) เขาเดินทางมาถึงที่นั้นเมื่อปี ค.ศ. 1843 กระทั่งในปี ค.ศ. 1848 จอห์น เคลลีได้รับการปล่อยตัวเป็นอิสระ เขาจึงย้ายไปอยู่ที่รัฐวิกตอเรียและได้งานทำที่เมืองเบเวอริดจ์ ในฟาร์มของเจมส์ ควินน์ (James Quinn) จอห์น (ขณะนั้นอายุได้ 30 ปี) ได้แต่งานกับเอลเลน ควินน์ (Ellen Quinn, ขณะนั้นอายุได้ 18 ปี) ลูกสาวของเจ้าของฟาร์ม และมีลูกด้วยกัน 8 คน ลูกคนแรกของพวกเขานั้นเสียชีวิตตั้งแต่ยังเด็ก ต่อมาจึงได้ลูกสาวคนแรกชื่อ แอนนี (Annie) เมื่อปี ค.ศ. 1853

สำหรับเน็ด เคลลี เขาเกิดเมื่อวันที่ 3 มิถุนายน ค.ศ. 1854 นับเป็นบุตรชายคนโตของจอห์นและเอลเลน เคลลี แต่นับเป็นบุตรคนที่ 3 ในจำนวนทั้งหมด 8 คน เขาได้รับการทำพิธีศีลจุ่มจากบาทหลวงชาร์ลส โอ'เฮอา (Charles O'Hea) ในศาสนาคริสต์นิกายโรมันคาทอลิก ลัทธิออกัสติเนียน ในวัยเด็ก เน็ดได้รับการศึกษาเพียงเล็กน้อย และครั้งหนึ่งเขาได้ยอมเสี่ยงชีวิตช่วยเด็กคนหนึ่งชื่อ ริชาร์ด เชลตัน (Richard Shelton) ให้รอดจากการจมน้ำ เน็ดได้รับรางวัลตอบแทนจากบิดาของเด็กชายคนนั้นเป็นผ้าพันคอสีเขียว ซึ่งเขาได้พกผ้าผืนนั้นติดตัวไว้ตลอดจนกระทั่งถึงการต่อสู้ครั้งสุดท้ายของเขาที่เกลนโรวันในปี ค.ศ. 1880[3]

ครอบครัวเคลลีตกเป็นผู้ต้องสงสัยหลายครั้งจากการขโมยวัวและม้า ถึงแม้ว่าพวกเคยจะไม่เคยถูกดำเนินคดีเลยก็ตาม ครั้งหนึ่งจอห์น เคลลีถูกจับกุมจากการฆ่าและถลกหนังลูกวัวซึ่งถูกอ้างว่าเป็นของเพื่อนบ้านของเขา เขาได้รับการพิสูจน์ว่าบริสุทธิ์ แต่ต้องถูกดำเนินคดีจากการเอาตราประทับบนหนังวัวออกโดยเสียค่าปรับ 25 ปอนด์ หรือรับโทษใช้แรงงานหนัก 6 เดือน จอห์น เคลลีไม่มีเงินมากพอจะเสียค่าปรับ จึงถูกลงโทษใช้แรงงานหนักที่เรือนจำเมืองกิลมอร์ (Kilmore) ส่งผลให้สุขภาพจอห์น เคลลี เสื่อมโทรมลงอย่างร้ายแรง เรื่องราวที่เกิดขึ้นกับจอห์น เคลลี และสิ่งที่ตำรวจกระทำกับเขานั้น ได้สร้างความสะเทือนใจแก่เน็ด เคลลี ผู้เป็นลูกชายของเขาอย่างยิ่ง

จอห์น เคลลี เสียชีวิตที่เมืองอเวเนล รัฐวิกตอเรีย (Avenel, Victoria) เมื่อวันที่ 27 ธันวาคม ค.ศ. 1866 หลังจากพ้นโทษครั้งสุดท้ายไม่นาน ขณะนั้นเน็ด เคลลี มีอายุได้ 11 ปีแล้ว ในเวลานั้นครอบครัวเคลลีได้จับจองที่ดินและย้ายไปอยู่ที่เมืองเกรตา (Greta) ซึ่งปัจจุบันนี้พื้นที่ดังกล่าวเป็นที่รู้จักกันในชื่อ "เคลลีคันทรี" ("Kelly Country")

โดยรวมแล้ว สมาชิกครอบครัวเคลลีถูกกล่าวหาว่ากระทำผิดต่างๆ 18 ครั้ง ก่อนที่เน็ดจะถูกประกาศให้เป็นคนนอกกฎหมาย ซึ่งจำนวนการตัดสินให้ผิดจริงตามที่กล่าวหานั้นมีเพียงกึ่งหนึ่งเท่านั้น จำนวนดังกล่าวนี้นับเป็นอัตราการกล่าวหาที่สูงมาจนผิดปกติในขณะนั้น และนับเป็นสาเหตุหนึ่งที่ทำให้ครอบครัวของเน็ดถูกเพ่งเล็งจากอำนาจรัฐอย่างไม่เป็นธรรมนับตั้งแต่พวกเขาอพยพมาอยู่ในพื้นที่ภาคตะวันออกเฉียงเหนือของรัฐวิกตอเรีย อาจเป็นไปได้ว่าครอบครัวของเน็ดจำเป็นต้องอพยพไปจากที่อยู่เดิมเพราะเอลเลนผู้เป็นแม่มีเรื่องผิดใจกับสมาชิกครอบครัวของเธอเอง และเธอก็เคยขึ้นศาลจากคดีความขัดแย้งในครอบครัวด้วย[4] อย่างไรก็ดี แอนโทนี โอ เบรียน (Antony O'Brien) ผู้เขียนนวนิยายอิงประวัติศาสตร์เรื่อง Bye-Bye Dolly Gray ซึ่งเป็นเรื่องเกี่ยวกับเน็ด เคลลี ได้ให้เหตุผลแย้งว่า กิจการตำรวจของอาณานิคมวิกตอเรียในเวลานั้นไม่ได้มีการดำเนินการเพื่อพิสูจน์ความผิดอย่างแท้จริงแต่อย่างใดนอกเสียจากการจับกุมคือสิ่งที่ทำให้ผู้ถูกจับกุมเป็นผู้กระทำความผิดจริงเท่านั้น[5]